Cola2：连续语义压缩与平衡离散生成的协同自适应层次语言建模
🧭 层次语言建模 · 连续压缩离散扩散生成
The University of Hong Kong · ByteDance Seed · Peking University · Renmin University of China
提出Cola2，通过连续语义压缩、离散重建-生成平衡与连续-离散协同适应，346B tokens训练8任务平均60.10超越Llama-3-8B部分任务
📌 工作参考价值（4 点）
- 对生成式推荐/Semantic ID：将物品语义压缩为连续 latent，再离散生成语义 ID；负反馈控制压缩率可省去辅助 loss 调参，适合对商品描述或用户行为序列做自适应语义摘要，减少 token 预算。
- 对搜索/广告文案生成：block-causal masked diffusion 解码器在 clean/noisy/dropped latent 条件下训练，能提高对 query/商品属性缺失或噪声输入的鲁棒性；Classifier-free guidance 可显式调节文案对约束的重建忠诚度和自主创意之间的平衡。
- 对 Agent 多轮交互：推理时 re-encode under fixed span layout 保持隐历史与实际文本一致，可缓解多轮生成中 latent history 漂移；stop-gradient 分离 Flow Matching 先验与表示学习，适合多任务/多阶段训练，避免先验目标干扰主任务表示。
- 对工程实现：continuous latent 压缩+离散解码可减少长序列 token 数，提升长文本/长行为序列建模效率；训练用 clean/noisy/dropped latent 条件成本低，可作为增强 decoder 鲁棒性的通用 trick。
显式后验物品条件化的语义 ID 扩散推荐
🧭 生成式推荐 · 语义 ID 扩散去噪 ★ 深度解读
VinUniversity · Griffith University · Aalborg University
在语义 ID 扩散解码中显式构造可行物品后验并回注 token logits，使物品竞争在目标仍可达时发挥作用
📌 工作参考价值（4 点）
- 在生成式推荐/SID 模型的迭代解码里，不要只盯着 token logits：每个中间状态可以用倒排索引或字典树快速得到与已解析 SID 一致的候选商品集合，显式计算 item posterior 再边际化回未解析位置。这能减少早期 token 决策误杀高潜商品的问题，尤其适合候选集较大的电商目录。
- 训练时用 frozen backbone + 轻量 adapter，只在候选集大小 2~M 的 frontier 状态做 item-level 监督，并用 SID 或语义编码距离给 heavily masked 状态做软标签。新增参数很少（论文中 0.39M），线上仅多一次候选扫描和 attention，不增加 backbone forward，适合在已有排序/生成模型上增量上线。
- 要把候选 proposal 和偏好打分分离：候选集剪枝可以用 backbone token likelihood，但 item posterior 的 energy 不要再加 token likelihood，否则会重复使用同一信号并损害 ranking。融合 token 和 item 证据时，可用 signed log-residual + ambiguity-aware gate，而不是简单凸混合。
- 历史交互建模使用 candidate-conditioned transition evidence：让每个候选商品与用户最近 K 个交互做 attention，并拼 element-wise product 和 absolute difference 特征，使不同候选从不同历史获得支持；这比单一 pooled history vector 更有区分度，可用于电商中的下一件购买、搭配推荐或广告候选打分。
掩码扩散语言模型的双向归纳电路与隐式时间步分析
🧭 扩散语言模型机制分析 · 上下文学习
National University of Science and Technology POLITEHNICA Bucharest
发现扩散语言模型用双向归纳电路实现上下文学习，且以全局掩码比例作隐式时间步
📌 工作参考价值（4 点）
- 对于电商搜索中的序列建模，可借鉴双向上下文访问的思路：在允许未来信息的场景（如离线重排）下，利用扩散模型隐式地融合下文，提升对用户意图的推断准确性。
- 隐式时间步的发现提示：在设计扩散式推荐或生成式检索时，可以省略显式时间步嵌入，让模型从噪声比例中自学习去噪进度，简化工程实现。
- 归纳电路的分析方法（激活修补、因果追踪）可以迁移到推荐模型的解释性工作中，例如定位关键注意力头，帮助 debug 召回结果中的主观偏差。
- 当仅左上下文可用时，DLM 的 induction 能力并不优于自回归模型，因此若线上真实场景只能获取左侧历史行为，盲目切换生成范式未必带来增益，需根据上下文可获取性选择架构。
改进的大语言扩散模型
🧭 大语言模型扩散训练与推理优化
Renmin University of China · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE · ByteDance Seed
8B 全双向掩码扩散语言模型从零预训练 12T tokens，大幅超越 LLaDA 并与自回归模型竞争
📌 工作参考价值（4 点）
- 生成式推荐场景可尝试用扩散模型替代自回归生成，尤其适合需要高吞吐、非自回归解码的物品标题、描述或语义 ID 生成。
- 全双向注意力在用户序列建模、查询改写等需要全局上下文的推荐任务中可能提升效果。
- 掩码扩散训练与变长生成技术可应用于对话式推荐响应生成，平衡效率与多样性。
- 置信度评分为推荐候选集排序提供新思路，如计算 item 置信度辅助精排。
谁应主导解码？跟踪可靠轨迹以集成掩码扩散语言模型
🧭 掩码扩散语言模型集成与解码动态
KAIST · AITRICS
提出TIE框架，通过跟踪解码轨迹置信度动态，实现MDLM的迭代知识融合，提升推理性能
📌 工作参考价值（4 点）
- 多Agent协作推理可借鉴：跟踪各Agent中间解码状态的置信度，动态选择轨迹更可靠的Agent主导生成，提升复杂推理准确性，适用于搜索推荐中的多步推理场景。
- 生成式推荐（如Semantic ID生成）可采用类似融合策略：集成多个生成模型，在每一步去噪或解码时评估中间状态质量，由当前最优模型接管，纠正其他模型的不可靠方向。
- 搜索查询改写或广告文案生成中，可交替利用不同LLM的互补优势：当某个模型生成过程中出现低置信度区域，注入其他模型的中间状态以稳定生成轨迹。
- 该方法强调在生成过程而非结果层面融合，为电商场景中多模型协同（如多路召回融合、多生成器投票）提供新思路：关注中间表示的置信度动态而非最终输出概率。
均匀扩散模型再审视：留一法去噪与吸收态重构
🧭 离散扩散模型优化 · 均匀扩散重参数化
CMAP, Ecole polytechnique · Institute of Foundation Models · Inria, PSL Research University · MBZUAI · EPITA, LRE
揭示了均匀扩散中标准参数化与训练目标的不匹配，提出留一去噪和吸收态重构改进生成质量
📌 工作参考价值（4 点）
- 在离散扩散生成任务（如商品标题生成、评论生成）中，若使用均匀扩散，可直接换用 leave-one-out 参数化训练，无需模型改动即可提升生成质量。
- 吸收态重构将均匀扩散的采样过程分解为掩码扩散式操作，简化了推理实现，同时保留了联合分布，可降低工程复杂度并支持 remasking 策略。
- 提出的 predictor-corrector 采样器和改进的温度采样技巧，无需额外训练，可用于控制生成多样性和质量，适合电商场景下需调控生成结果风格或创造性的应用。
- 结论表明扩散模型性能差距主要来自参数化和采样设计，而非边缘分布选择，这提示在推荐系统的扩散模型（如生成式推荐）中，应更多关注参数化策略而非生硬选择扩散类型。